搭建HADOOP分布式集群(三台)
语笑嫣然Y.Annd:
安装一台VMware workstation pro16
设置为net模式,vm-net8
设置静态网络
cd /etc/sysconfig/network-scripts/
ls
vim ifcfg-ens33
BOOTPROTO-"dhcp"改为 "static"
IPADDR=”192.168.3.120”(子网地址)
NETMASK=”255.255.255.0”(子网掩码)
NETWORK=”192.168.3.0”(子网网段)(要和虚拟机的网络编辑器内的net模式中的网段相同)
GATEWAY=”192.168.3.2”(网关)
DNS1=”8.8.8.8”(域名解析服务器)
修改主机名称
vim /etc/hostname
hadoop01
vim /etc/hosts
192.168.3.120 hadoop01
192.168.3.130 hadoop02
192.168.3.140 hadoop03
关闭防火墙
systemctl stop firewalld.service (临时有效)
systemctl disable firewalld(重启有效)(一定要关闭防火墙)
重启 reboot
查看此虚拟机的IP ifconfig
ping百度是否能拼通
ping www.baidu.com
安装Java环境
cd /etc
mkdir hadoop
解压缩tar -xvf jdk_1.8.0.tar.gz -C /etc/hadoop
修改文件名mv jdk_1.8.0 java
配置环境变量vim /etc/profile
export JAVA_HOME=/etc/hadoop/java
export PATH=$PATH:$JAVA_HOME/bin
刷新source /etc/profile
输入java,验证是否安装成功 java
打开java路径,查看java的安装包是否完整
cd /etc/hadoop/java
ls
jre bin ....
克隆此虚拟机两次,一共三台虚拟机。
并修改子网IP,主机名,ping百度
三台虚拟机免密钥登录
cd
ssh-keygen -t rsa (一直按回车就可以(生成密钥))
三台虚机互相之间全部能够互通
ssh copy 192.168.3.120
ssh copy 192.168.3.130
ssh copy 192.168.3.140
在三台虚机中均执行此操作
在hadoop01中
ping hadoop02
ping hadoop03
设置3台虚机时间同步,我这里使用的是阿里云的。
关闭selinux安全模块
vim /etc/selinux/config
SELINUX=DISABLE
重启 reboot(三台)
2)安装Hadoop环境(伪分布式)
解压缩tar -xvf hadoop~~.tar.gz -C /etc/hadoop
修改文件名mv hadoop~~ hadoop
配置环境变量
vim /etc/profile
export HADOOP_HOME=/etc/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新source /etc/profile
修改配置文件
cd /etc/hadoop/hadoop/etc/hadoop/
ls
① 配置slaves文件
vim slaves
②配置文件core-site.xml
vim core-site.xml
fs.defaultFS
hdfs://hadoop01:9000
③配置文件 hdfs-site.xml
vim hdfs-site.xml
dfs.namenode.secondary.http-address
hadoop02:50090
|